Epistemic Warrant for LLM Recommendations: Characterizing the Basis for Reliance When Ground Truth Is Unavailable
LLM推荐的认识论保证：在无真值条件下刻画依赖依据
🧭 决策级LLM推荐可靠性评估
University of South Florida, Muma College of Business · New York University
提出可操作的决策级认识论保证框架，将LLM两两推荐分为四层依赖证书并验证其有效性
📌 工作参考价值（4 点）
- 在电商/推荐Agent中，对LLM生成的排序或推荐理由进行多轮采样与prompt扰动，统计候选偏好是否稳定；将跨上下文一致的推荐标记为broadly supported，低warrant的推荐降级或仅作参考。
- 不要依赖模型的verbalized confidence（如“我很有信心”），论文表明epistemic warrant提供不同信息；在线决策中需单独计算决策级稳定性指标，而不是只取输出token概率。
- 对context-dependent的推荐可触发额外验证，如A/B测试、人工审核或规则兜底；在冷启动或长尾等无ground truth场景，可为每个推荐附上reliance certificate，帮助下游Agent决定是否执行。
- 在审计面板或管理工具中输出四层warrant标签，便于业务方按风险等级使用LLM推荐，而非依赖全局阈值。